@Lemon
2年前 提问
1个回答
GFS分布式文件系统包括哪些系统管理技术
一颗小胡椒
2年前
GFS分布式文件系统包括以下系统管理技术:
大规模集群安装技术:安装GFS的集群中通常有非常多的节点。因此迅速地安装、部署一个GFS的系统,以及迅速地进行节点的系统升级等,都需要相应的技术支撑。
故障检测技术:GFS是构建在不可靠的廉价计算机之上的文件系统,由于节点数目众多,故障发生十分频繁,如何在最短的时间内发现并确定发生故障的Chunk Server,需要相关的集群监控技术。
节点动态加入技术:当有新的Chunk Server加入时,如果需要事先安装好的系统,那么系统扩展将是一件十分烦琐的事情。如果能够做到只需将裸机加入,就会自动获取系统并安装运行,那么将会大大减少GFS维护的工作量。
节能技术:有关数据表明,服务器的耗电成本大于当初的购买成本,因此谷歌采用了多种机制来降低服务器的能耗,例如对服务器主板进行修改,采用蓄电池代替昂贵的UPS,提高能量的利用率。
GFS采用副本的方式实现ChunkServer的容错:每一个Chunk有多个存储副本(默认为三个),分布存储在不同的Chunk Server上。副本的分布策略需要考虑多种因素,如网路的拓扑、机架的分布、磁盘的利用率等。对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入。之后,如果相关的副本出现丢失或不可恢复等情况,Master自动将该副本复制到其他的Chunk Server,从而确保副本保持一定的个数。